Tokenisation via Convex Relaxations
基于凸松弛的分词优化
🧭 分词优化·凸松弛
ETH Zurich · Kensho Technologies
将分词器构建转化为线性规划，用凸优化求解全局最优词表，压缩率和语言模型性能超越贪心算法
📌 工作参考价值（4 点）
- 可将分词目标显式建模为最小化编码成本，利用凸优化求解全局词表，获得更优压缩率，减少电商商品描述等文本的 token 序列长度，降低 LLM 推理成本。
- 提供严格的最优性下界，用于定量评估现有分词器（如 BPE）的优化差距，指导词汇量设置。
- 方法可作为 BPE 的离线替代，训练时直接使用 ConvexTok 词表，无需改动下游模型架构。
- 注意：目标函数设计依赖具体语料，在生成式推荐中可考虑引入业务指标（如文本编码后的推荐效果）作为优化目标，但需定制化实现。